Learning Memory-Augmented Unidirectional Metrics for Cross-Modality Person Re-Identification

分享人：苗子凌
研究方向：跨模态行人重识别
论文题目：Learning Memory-Augmented Unidirectional Metrics for Cross-Modality Person Re-Identification
论文作者：Jialun Liu, Yifan Sun, Feng Zhu, Hongbin Pei, Yi Yang, Wenhui Li
作者单位：吉林大学
论文摘要：本文通过抑制模态差异来解决跨模态人员重新识别（re-ID）问题。在跨模态重识别中，查询和图库图像处于不同的模态。给定一个训练身份，流行的深度分类基线对于两种模式共享相同的代理（即最后一个分类层中的权重向量）。我们发现它对模态差距有相当大的容忍度，因为共享代理充当两种模态之间的中间中继。作为回应，我们提出了一种记忆增强单向度量 (MAUM) 学习方法，该方法由两种新颖的设计组成，即单向度量和基于记忆的增强。具体来说，MAUM 首先在每种模态下独立地学习模态特定代理（MS-Proxies）。之后，MAUM 使用已经学习的 MS-Proxies 作为静态参考来拉近对应模态中的特征。这两个单向指标（IR 图像到 RGB 代理和 RGB 图像到 IR 代理）共同减轻了中继效应并有利于跨模态关联。通过将 MS-Proxies 存储到内存库中以增加参考多样性，进一步增强了跨模态关联。重要的是，我们展示了 MAUM 在模态平衡设置下改进了跨模态 re-ID，并在模态不平衡问题上获得了额外的鲁棒性。在 SYSU-MM01 和 RegDB 数据集上进行的大量实验证明了 MAUM 优于最先进的数据集。该代码将公开。
原文链接：

点击此处